在本文中，我们提出了一种新的方法来增强从单个可佩戴相机捕获的视频计算的人的3D身体姿势估计。关键的想法是利用在联合嵌入空间中链接第一和第三次视图的高级功能。为了了解这样的嵌入空间，我们介绍了First2第三姿势，这是一个近2,000个视频的新配对同步数据集，描绘了从第一和第三视角捕获的人类活动。我们明确地考虑了空间和运动域功能，同时使用以自我监督的方式培训的半暹罗架构。实验结果表明，使用我们的数据集学习的联合多视图嵌入式空间可用于从任意单视图的自拍视频中提取歧视特征，而无需需要域适应，也不知道相机参数。在三种监督最先进的方法中，我们在两个无约束数据集中实现了重大改善了两个无约束的数据集。我们的数据集和代码将可用于研究目的。

Managing novelty in perception-based human activity recognition (HAR) is critical in realistic settings to improve task performance over time and ensure solution generalization outside of prior seen samples. Novelty manifests in HAR as unseen samples, activities, objects, environments, and sensor changes, among other ways. Novelty may be task-relevant, such as a new class or new features, or task-irrelevant resulting in nuisance novelty, such as never before seen noise, blur, or distorted video recordings. To perform HAR optimally, algorithmic solutions must be tolerant to nuisance novelty, and learn over time in the face of novelty. This paper 1) formalizes the definition of novelty in HAR building upon the prior definition of novelty in classification tasks, 2) proposes an incremental open world learning (OWL) protocol and applies it to the Kinetics datasets to generate a new benchmark KOWL-718, 3) analyzes the performance of current state-of-the-art HAR models when novelty is introduced over time, 4) provides a containerized and packaged pipeline for reproducing the OWL protocol and for modifying for any future updates to Kinetics. The experimental analysis includes an ablation study of how the different models perform under various conditions as annotated by Kinetics-AVA. The protocol as an algorithm for reproducing experiments using the KOWL-718 benchmark will be publicly released with code and containers at https://github.com/prijatelj/human-activity-recognition-in-an-open-world. The code may be used to analyze different annotations and subsets of the Kinetics datasets in an incremental open world fashion, as well as be extended as further updates to Kinetics are released.

Most action recognition datasets and algorithms assume a closed world, where all test samples are instances of the known classes. In open set problems, test samples may be drawn from either known or unknown classes. Existing open set action recognition methods are typically based on extending closed set methods by adding post hoc analysis of classification scores or feature distances and do not capture the relations among all the video clip elements. Our approach uses the reconstruction error to determine the novelty of the video since unknown classes are harder to put back together and thus have a higher reconstruction error than videos from known classes. We refer to our solution to the open set action recognition problem as "Humpty Dumpty", due to its reconstruction abilities. Humpty Dumpty is a novel graph-based autoencoder that accounts for contextual and semantic relations among the clip pieces for improved reconstruction. A larger reconstruction error leads to an increased likelihood that the action can not be reconstructed, i.e., can not put Humpty Dumpty back together again, indicating that the action has never been seen before and is novel/unknown. Extensive experiments are performed on two publicly available action recognition datasets including HMDB-51 and UCF-101, showing the state-of-the-art performance for open set action recognition.

Vision language (VL) models like CLIP are robust to natural distribution shifts, in part because CLIP learns on unstructured data using a technique called caption supervision; the model inteprets image-linked texts as ground-truth labels. In a carefully controlled comparison study, we show that caption-supervised CNNs trained on a standard cross-entropy loss (with image labels assigned by scanning captions for class names) can exhibit greater distributional robustness than VL models trained on the same data. To facilitate future experiments with high-accuracy caption-supervised models, we introduce CaptionNet (https://github.com/penfever/CaptionNet/), which includes a class-balanced, fully supervised dataset with over 50,000 new human-labeled ImageNet-compliant samples which includes web-scraped captions. In a series of experiments on CaptionNet, we show how the choice of loss function, data filtration and supervision strategy enable robust computer vision. We also provide the codebase necessary to reproduce our experiments at VL Hub (https://github.com/penfever/vlhub/).

受生物神经元的启发，激活功能在许多现实世界中常用的任何人工神经网络的学习过程中起着重要作用。文献中已经提出了各种激活功能，用于分类和回归任务。在这项工作中，我们调查了过去已经使用的激活功能以及当前的最新功能。特别是，我们介绍了多年来激活功能的各种发展以及这些激活功能的优势以及缺点或局限性。我们还讨论了经典（固定）激活功能，包括整流器单元和自适应激活功能。除了基于表征的激活函数的分类法外，还提出了基于应用的激活函数的分类法。为此，对MNIST，CIFAR-10和CIFAR-100等分类数据集进行了各种固定和自适应激活函数的系统比较。近年来，已经出现了一个具有物理信息的机器学习框架，以解决与科学计算有关的问题。为此，我们还讨论了在物理知识的机器学习框架中使用的激活功能的各种要求。此外，使用Tensorflow，Pytorch和Jax等各种机器学习库之间进行了不同的固定和自适应激活函数进行各种比较。

集成开发环境（IDE）提供工具支持，以自动化许多源代码编辑任务。传统上，IDE仅使用空间上下文，即开发人员正在编辑的位置来生成候选编辑建议。但是，仅空间上下文通常不足以自信地预测开发人员的下一个编辑，因此IDE在某个位置会产生许多建议。因此，IDE通常不会主动提供建议，而是需要单击特定图标或菜单，然后从大量潜在建议列表中进行选择。结果，开发人员通常会错过使用工具支持的机会，因为他们不知道它存在或忘记使用它。为了更好地理解开发人员行为中的常见模式并产生更好的编辑建议，我们还可以使用时间上下文，即开发人员最近执行的编辑。为了启用基于时间上下文的编辑建议，我们提出了《守望先锋》，这是一种从IDE中执行的开发人员编辑痕迹学习编辑序列模式的新颖技术。我们的实验表明，《守望先锋》具有78％的精度，守望先锋不仅完成了开发人员错过使用IDE工具支持的机会，而且还预测了在IDE中没有工具支持的新编辑。

结肠镜检查的柔性内窥镜由于其固有的复杂性而产生了一些局限性，导致患者不适和缺乏临床医生的直觉。机器人设备和自主控制代表了一种可行的解决方案，以减少内镜医生的工作量和训练时间，同时改善整体程序结果。自主内窥镜控制的先前工作使用启发式政策，将其概括限制在非结构化和高度可变形的结肠环境中，需要频繁进行人类干预。这项工作提出了一种基于图像的内窥镜控制，使用深钢筋学习，称为深度视觉运动控制（DVC），以在结肠道的复杂部分中表现出适应性行为。 DVC学习内窥镜图像与内窥镜的控制信号之间的映射。对20位专家胃肠道内镜医生进行的首次用户研究是为了将其导航性能与使用现实的虚拟模拟器进行比较的DVC策略。结果表明，DVC在几个评估参数上显示出同等的性能，更安全。此外，与最先进的启发式控制政策相比，对20名新手参与者进行了第二次用户研究，以证明人类的监督更容易。对结肠镜检查程序的无缝监督将使干预主义者能够专注于医疗决策，而不是内窥镜的控制问题。

图形神经网络（GNN）已成为一种学习关系数据的强大技术。由于他们执行的消息传递步骤数量相对有限 - 因此一个较小的接收领域，人们对通过结合基础图的结构方面来提高其表现力引起了极大的兴趣。在本文中，我们探讨了亲和力措施作为图形神经网络中的特征，特别是由随机步行引起的措施，包括有效的阻力，击球和通勤时间。我们根据这些功能提出消息传递网络，并评估其在各种节点和图形属性预测任务上的性能。我们的体系结构具有较低的计算复杂性，而我们的功能对于基础图的排列不变。我们计算的措施使网络可以利用图表的连接性能，从而使我们能够超过相关的基准，用于各种任务，通常具有更少的消息传递步骤。在OGB-LSC-PCQM4MV1的最大公共图形回归数据集之一中，我们在编写时获得了最著名的单模验证MAE。

知识蒸馏是将“知识”从大型模型（教师）转移到更紧凑的（学生）的过程，通常在模型压缩的背景下使用。当两个模型都具有相同的体系结构时，此过程称为自distillation。几项轶事表明，一个自灭的学生可以在持有的数据上胜过老师的表现。在这项工作中，我们系统地研究了许多设置。我们首先表明，即使有一个高度准确的老师，自我介绍也使学生在所有情况下都可以超越老师。其次，我们重新审视了（自我）蒸馏的现有理论解释，并确定矛盾的例子，揭示了这些解释的可能缺点。最后，我们通过损失景观几何形状的镜头为自我鉴定的动态提供了另一种解释。我们进行了广泛的实验，以表明自我验证会导致最小化的最小值，从而导致更好的概括。

在大规模数据集中训练的最先进的图像分类器（例如ImageNet）已被证明容易受到一系列故意和偶然分配变化的影响。另一方面，已经出现了一些最近具有有利分布（OOD）鲁棒性特性的分类器，在其目标任务上达到了高度准确性，同时保持其在挑战性基准方面的分配精度。我们对广泛发布的模型进行了荟萃分析，其中大多数在过去的十二个月中已经发布。通过这项荟萃分析，我们从经验上确定了所有表现最佳的OOD模型的四个主要共同点，所有这些模型都阐明了视力语言预训练的巨大希望。